On the maximum entropy of a sum of independent discrete random variables
نویسندگان
چکیده
Пусть $X_1,…, X_n $ - независимые случайные величины, принимающие значения в алфавите $\{0,1,…,r\} $, и $S_n=\sum_{i=1}^nX_i$. Теорема Шеппа-Олкина утверждает, что бинарном случае ($r=1$) энтропия Шеннона случайной величины $S_n$ максимальна, когда все $X_i$ равномерно распределены, т.е. являются бернуллиевскими с параметром $1/2$. Стремясь обобщить эту теорему на случай конечных алфавитов, мы получаем нижнюю границу для максимума энтропии доказываем, она точна некоторых частных случаях. В дополнение к этим частным случаям приводится еще один довод поддержку гипотезы о том, полученная граница представляет собой оптимальное значение всех $n$, $r$, $H(S_n)$ $X_1,…,X_{n-1}$ распределены $\{0,r\}$, то время как функция распределения масс $X_n$ является смесью (с явным образом определенными ненулевыми весами) равномерных распределений $\{0,r\}$ $\{1,…,r-1\}$.
منابع مشابه
On the Maximum Partial Sum of Independent Random Variables.
this becomes false if (BI), (Be) and (B) are replaced by (Nt), (NM) and (N), respectively. This follows, even for p = 2 = q, from the above example proving that (NW) is not linear. Correspondingly, (Ne) cannot be interpreted as the dual space of (NP), since such an interpretation would involve the definition of a scalar product. 7. Let (Nt) denote the space which relates to the space (Nt) in th...
متن کاملMaximizing the Entropy of a Sum of Independent Random Variables
Let X1; : : : ;Xn be n independent, symmetric random variables supported on the interval [-1,1] and let Sn = Pn i=1Xi be their sum. We show that the di erential entropy of Sn is maximized when X1; : : : ;Xn 1 are Bernoulli taking on +1 or -1 with equal probability and Xn is uniformly distributed. This entropy maximization problem is due to Shlomo Shamai [1] who also conjectured the solution1.
متن کاملOn the maximum entropy of the sum of two dependent random variables
If pi(i = l , * . ,N)is the probability of the ith letter of amemoryless souree, the length li of the e o r r e s p d i n g binary HufFmancodeword can be very different from the d u e -logpi. For atypical letter, however, Ii = -log pi. Mote precisely, Pm=E {ill o g p -m)Pj < 2-" and P,'= zjE{il,,>-logp,+m)Pj <2-c(m15T1, &re; c = 227. Index Term.s-Huffman c...
متن کاملthe effect of consciousness raising (c-r) on the reduction of translational errors: a case study
در دوره های آموزش ترجمه استادان بیشتر سعی دارند دانشجویان را با انواع متون آشنا سازند، درحالی که کمتر به خطاهای مکرر آنان در متن ترجمه شده می پردازند. اهمیت تحقیق حاضر مبنی بر ارتکاب مکرر خطاهای ترجمانی حتی بعد از گذراندن دوره های تخصصی ترجمه از سوی دانشجویان است. هدف از آن تاکید بر خطاهای رایج میان دانشجویان مترجمی و کاهش این خطاها با افزایش آگاهی و هوشیاری دانشجویان از بروز آنها است.از آنجا ک...
15 صفحه اولthe effect of a selfregulatory approach on the improvement of efl learners listening comprehension
تاثیر آموزش مهارت خود محوری بر روی ارتقاء مهارت شنیداری زبان آموزان هدف این پژوهش بررسی عوامل موثر در ارتقا مهارت شنیداری زبان آموزان ایرانی بود. در مرحله اول این تحقیق پژوهشگر پس از انجام مصاحبه نود زبان آموز را با استفاده از تست ایلتس انتخاب شدند. برای بررسی عوامل عوامل موثر در ارتقا مهارت شنیداری زبان آموزان ایرانی از دو نوع فیلم ویرایش شده و ویرایش نشده استفاده گردید.برای انجام تح...
ذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ژورنال
عنوان ژورنال: ?????? ???????????? ? ?? ??????????
سال: 2021
ISSN: ['0040-361X', '2305-3151']
DOI: https://doi.org/10.4213/tvp5442